结合tetrolet与红外显著性特征提取的红外与可见光融合

针对红外与可见光图像融合过程中红外热目标不突出、纹理及边缘细节易缺失等问题,提出一种结合tetrolet变换域与红外显著目标特征提取的融合方法。首先,在SURF框架内构建基于HOG的特征点描述符实现红外与可见光图像的精确匹配;其次,基于贝塞尔面结合背景及目标进行自适应抑制完成红外目标显著性特征提取;接着,将处理后的红外与可见光图像通过tetrolet多尺度变换分解为低频和高频分量;然后,利用基于局部能量和相对亮度自适应规则对低频分量进行融合,对高频分量采用基于局部空间频率自适应融合规则;最后,将融合的低频分量与高频分量通过tetrolet逆变换,以获得最终的融合结果。实验结果表明,本文算法对不同场景下的红外与可见光图像的融合效果不但主观上具有显著的目标特征,同时背景纹理和边缘细节清晰,整体对比度适宜,运行时间较其它算法得到了明显提升,并且在客观评价指标上也取得了较好的效果。     

多模态语义协同交互的图文联合命名实体识别方法

针对现有多模态命名实体识别（Multimodal Named Entity Recognition,MNER）研究中存在的噪声影响和图文语义融合不足问题,本文提出一个多模态语义协同交互的图文联合命名实体识别（Image-Text Joint Named Entity Recognition,ITJNER）模型。ITJNER模型加入图像描述作为额外特征丰富了多模态特征表示,图像描述可以帮助过滤掉从图像特征中引入的噪声并以文本形式总结图像语义信息;还构建了多模态协同交互的多模态语义融合模型,可以加强多模态信息融合,并减少图像信息的语义偏差。在Twitter-2015和Twitter-2017数据集上进行方法实验,分析实验结果并与AdaCAN、UMT、UMGF、Object-AGBAN等方法进行对比。相较于对比方法中的最优方法UMGF,本方法在Twitter-2017数据集上的准确率、召回率、F1值分别提高了0.67%、2.26%、0.93%;在Twitter-2015数据集上,召回率提高了0.19%。实验结果验证了本方法的有效性。     

一种基于多任务学习的多模态情感识别方法

为了通过设置辅助任务学习到更具有情感倾向性的视频和语音表示, 进而提升模态融合的效果, 提出一种基于多任务学习的多模态情感识别模型, 使用多模态共享层来学习视觉和语音模型的情感信息。在MOSI数据集和MOSEI数据集上的实验表明, 添加两个辅助的单模态情感识别任务后, 模型可以学习到更有效的单模态情感表示, 并且在两个数据集上的情感识别准确率比目前性能最佳的单任务模型分别提升0.8%和2.5%。     

基于深度学习的医学图像配准研究进展

图像配准是图像引导手术、图像融合、器官图谱生成、肿瘤和骨骼生长监测等临床任务应用的关键技术,也是一个极具挑战性的问题。近年来,深度学习技术对医学图像处理方法的研究产生重要的影响,在医学图像配准领域发展迅速。对使用深度学习技术实现医学图像配准的研究进行综述,首先按照深度学习模型将医学图像配准方法分为3类,包括监督、弱监督和无监督医学图像配准;然后分别介绍国内外研究进展,并总结这些研究方法的优缺点;在此基础上,阐述常用的深度学习配准框架以及评价标准,并总结常用的开源医学影像数据集;最后对深度学习技术在医学配准图像领域中存在的问题进行分析,展望未来发展的方向。     

图文决策融合的多模态电商垃圾评价检测

现有的电商垃圾评价检测方法大多基于对评价文本信息进行分析,难以有效检测带有图片的多模态垃圾评价,为充分利用评价的图片和文本内容,提出了基于Transformer双向编码表示(bidirectional encoder representa-tions from transformer,BERT)和宽残差网络(wide residual networks,WRN)的图文融合决策检测方法.该方法利用评价文本对经过预训练的BERT模型进行微调训练,经过表示学习分类得到文本评价类别向量,使用宽残差网络对评价图片进行特征提取和分类并输出图片类别向量,将得到的对应评价图文类别向量共同输入启发式决策融合分类器,对多模态评价整体进行预测分类.使用真实电商评价数据集进行实验表明,相比面向评价文本的分类方法,图文融合决策检测方法对多模态评价分类的精准率提高4.44％,召回率提高2.12％,Micro-F1提高3.67％,结果证实该方法能够对多模态垃圾评价进行有效检测.     

Minkowski广义距离与多模态图像配准

根据图像灰度的联合概率分布函数与图像相似程度之间的变化规律,分析了Shannon互信息与Kullback-Leibler距离之间的关系,利用变量间的不等式关系理论,提出基于Minkowski不等式的广义距离度量,并构造了基于这一距离的多模态图像配准新测度.新的配准测度不再要求概率分布必须满足连续性的要求,实验中使用MR和PET医学图像进行了实验分析.结果显示,基于Minkowski距离的新配准测度比传统的信息论测度具有更强的噪声鲁棒性,用乘方运算代替了对数运算,数学表达式更简单,并省去了除法运算,在算法上也更容易实现.     

预登记简论

对预登记的含义与要件进行了界定,对预登记的效力、预登记请求权等问题进行了探讨,并结合我国物权立法实践,提出了相应的立法建议。     

基于系统整合观的多式联运系统特征分析

经济全球化正在对多式联运的运输服务和多种方式的运输基础设施产生更多的需求。多式联运系统是基于系统整合观和供应链思想以及现代信息技术的多种运输方式的最佳组合，是现代国际物流发展的模式与趋势。多式联运具有自身的特点和独特的系统特征，相对于传统的运输模式来说，是一个革命性的突破，从根本上区别于传统的物质运输模式。     

VRML场景中的智能替身研究

给出VRML场号中的智能替身模型，使得替身可以更好的理解用户的意图。首先，利用参数化的方法构造替身模型，使得用户可以更快捷的定制个性化的替身；在此基础上，分层次的动作模型实现了从高层的面向任务的动作到底层替身物理动作的高效分解与映射；最后，多通道的交互方式使得用户可以通过更自然的方式控制自己的替身。VRML场景中的智能替身研究为VRML多用户虚拟场景中替身交互，以及替身与场景交互的研究提供了基础。     

市场经济中的信贷信息共享

市场条件下银行贷款的安全，主要取决于银行在贷款前和贷款后能否有效收集和处理有关信息，及时防范和化解风险。文章就信贷信息共享系统的作用和有关建设问题做了积极的探讨，指出了我国建设信贷登记咨询系统的重要性。